Thứ phi mang họ Hoàn Nhan (完顏氏), xuất thân từ Mãn Châu Tương Hồng kỳ thuộc [Đông quy hệ; 东归系]. Gia tộc của bà là phân nhánh từ Hoàng tộc Hoàn Nhan thị, hậu duệ của nhà Kim. Thời kỳ nhà Thanh có rất nhiều Hoàn Nhan thị lớn nhỏ khác nhau, song "Đông quy hệ" là hệ Hoàn Nhan thị có họ hàng chặt chẽ nhất với Hoàng tộc Hoàn Nhan thị khi trước, và hệ Hoàn Nhan thị này cũng sinh ra cực nhiều danh môn sĩ hoạn chiếm một nửa triều Thanh.

Dù trong hệ này cũng cực nhiều nhánh khác, nhưng họ đều lấy Hoàn Nhan Thủ Tường (完颜守祥) - một tộc huynh đệ của Kim Ai Tông, làm thủy tổ. Bởi vì Thủ Tường vào cuối đời nhà Kim trở về Đông Bắc sinh sống, nên mới có danh xưng ["Đông quy"] này. Tổ tiên của chi hệ của Thứ phi là một vị tên Tô Sơn (蘇山), sớm quy hàng Đại Thanh, được giao cho giữ chức Tá lĩnh truyền đời, tức Thế quản Tá lĩnh[1]. Con của Tô Sơn là Chu Thế Cơ (朱世基), thụ tước [Nhất đẳng Khinh xa Đô úy hựu Nhất vân kị úy; 一等轻车都尉又一云骑尉], sau thăng lên làm Phó Đô thống. Con của Chu Thế Cơ là Ngạc Cáp (鄂哈) làm tới chức Thị lang bộ Lễ. Sau Ngạc Cáp có cháu tên Hàng Dịch Mộc (吭斁木) chính là ông nội của Thứ phi. Hàng Dịch Mộc là vị đại thần được trong dụng, bắt đầu làm quan từ thời Khang Hi, tập tước Tam đẳng Khinh xa Đô úy từ cha, sang thời Ung Chính thăng Khâm sai Đại thần, đến thời Càn Long đương tới chức Nghị chính đại thần. Năm Càn Long thứ 10 (1745), nhân sự kiện Hàng Dịch Mộc dâng tấu xin cáo lão hồi hương, Hoàng đế nói rằng: ["Khanh nhân phẩm, tài năng ưu việt, có tác phong và kỷ luật, làm việc thỏa đáng, chính trực, nay cứ như cũ mà đảm nhiệm chức vụ"]. Từ đó có thể thấy, ông là một đại thần được trọng vọng. Tuy nhiên, trong 2 năm giữ lại triều đình, nhận thấy Hàng Dịch Mộc quả thực sức khỏe không tốt, Càn Long Đế mới để ông giao lại quan tước về hưu. Tháng 7 năm Càn Long thứ 13 (1748), Hàng Dịch Mộc bệnh nặng qua đời. Ông có hai con trai, trong đó có Cáp Phong A (哈丰阿), tập nguyên tước vị Tam đẳng Khinh xa Đô úy từ cha, vị này chính là thân phụ của Thứ phi. Cáp Phong A có một người chị gái, là cô ruột của Thứ phi, thành hôn với Trang Thận Thân vương Vĩnh Thường - người thừa kế tước vị của Trang Khác Thân vương Dận Lộc. Ngoài ra, chị em ruột của Thứ phi cũng trở thành Đích Phúc tấn của Trang Tương Thân vương Miên Khóa - cháu gọi Vĩnh Thường là bác ruột.

Gia thế của Thứ phi tuy không được tính vào hàng nhất đẳng thế gia, nhưng cũng là gốc gác cực lớn, hơn nữa các phân nhánh cùng thủy tổ đều làm quan to và có máu mặt trong triều đình. Đặc biệt, các cuộc liên hôn với Hoàng tộc khiến họ Hoàn Nhan thị nhánh Tô Sơn trở nên vô cùng vinh hiển. Nếu so về xuất thân, Hoàn Nhan thị hơn cả Hiếu Hòa Duệ Hoàng hậu Nữu Hỗ Lộc thị - người được Càn Long Đế nâng đỡ và vượt xa Hiếu Thục Duệ Hoàng hậu Hỉ Tháp Lạp thị - nguyên phối của Gia Khánh Đế.